Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation
Querit-Reranker：无标注分布适配的高效多语言重排序器训练
🧭 多语言重排序器训练与分布适配 ★ 深度解读
Institute of Computing Technology, Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
通过合成query mining与teacher软标签实现无标注目标适配，结合SLERP合并checkpoint，产出紧凑且强劲的多语言重排序模型
📌 工作参考价值（4 点）
- 无标注分布适配：用目标语料库中的文档通过LLM生成合成query，并由teacher模型（如Llama-Embed-Nemotron-8B）打分作为连续软标签，代替昂贵的人工标注，可迁移用于电商搜索中的新行业/小语种适配。
- SLERP单模型合并：将多个针对不同任务/数据分布训练的checkpoint用球面线性插值融合为一个模型，避免多模型部署的推理开销，适合线上低延迟重排序。
- 紧凑MoE架构：Querit-Reranker-A0.4B使用0.4B激活参数的MoE骨干，在保证效果的同时大幅降低推理成本，适合搜索重排序等高性能要求场景。
- 多阶段数据配比：一阶段用大规模开源+业务数据构建通用相关性，二阶段用少量目标分布合成数据精调；可迁移到电商多国家站点/多品类的重排序模型训练。